神經網路
1 概念
模擬生物的神經系統，對函數進行評估或者近似
2神經元
a 神經網絡中的基礎單元互相連接組成神經網路
b t=f（w^TA+B）
c 一個神經元的功能是求得輸入向量與權向量的內積，經一個非線性傳遞函數得到的一 個標量結果
3 單層神經網絡
最簡單的神經網絡
4 感知機
a 兩層神經網絡
b 簡單的二分類的模型，給定閾值，判斷數據屬於哪一部分
5 多層神經網絡
a 輸入層
b 輸出層
c 隱層：可以有多層，每一層的神經元個數可以不相等
d 全連接層：第N層與前一層和後一層神經元都可以連接到，我們稱呼他為全連接層
6 函數
a 線性：
系統：函數，f(x)=y
f(x1+x2)=y1+y2
f(kx1)=ky1
b 作用
增加模型的非線性分割能力
提供模型的穩定性
緩解梯度消失
加速模型的收斂
c 常見的激活函數
sigmoid：（0，1）、
tanh：（-1，1）
relu：max（0，x）
ELU：a（e^x-1）
看影片追技術